通用文档理解新SOTA！华科、金山提出全新多模态大模型TextMonkey
©作者 | 机器之心编辑部
来源 | 机器之心
最近，华中科技大学和金山的研究人员在多模态大模型 Monkey [1]（Li et al., CVPR 2024）工作的基础上提出 TextMonkey。在多个场景文本和文档的测试基准中，TextMonkey 处于国际领先地位，有潜力带来办公自动化、智慧教育、智慧金融等行业应用领域的技术变革。
论文地址：
代码地址：
TextMonkey 是一个专注于文本相关任务（包括文档问答和场景文本问答）的多模态大模型（LMM）。相比于 Monkey，TextMonkey 在多个方面进行改进：通过采用零初始化的 Shifted Window Attention，TextMonkey 实现了更高输入分辨率下的窗口间信息交互；通过使用相似性来过滤出重要的图像特征，TextMonkey 不仅能够简化输入，还可以提高模型的性能。
此外，通过扩展多个文本相关任务并将位置信息纳入回答，TextMonkey 增强了可解释性并减少了幻觉。与此同时，TextMonkey 在微调之后还可以具备 APP Agent 中理解用户指令并点击相应位置的能力，展现了其下游应用的巨大潜力。
例如，TextMonkey 展现出强大的视觉定位与理解能力，不仅能够定位图像中的所有文本，还能在视觉问答时给出答案及其所在位置，增加了可解释性并减少了幻觉。
即使在文字相当密集的情况下，TextMonkey 也可以读取输入图片中的所有文字并且给出图片中文本的坐标。
TextMonkey 还能帮助我们结构化图表，表格以及文档数据，通过将图像内容转化为 Json 格式的信息，方便记录和提取。
实验结果表明，TextMonkey 在各种基准数据集上的性能得到了显著提升，在以场景文本为中心的视觉问答、文档 VQA 和关键信息抽取任务中分别取得了 5.2%、6.9% 和 2.8% 的准确率增长，特别是在 OCRBench [2] 上获得了 561 的得分，超越此前所有已开源的多模态大模型。
TextMonkey 的成功核心在于它模拟人类视觉认知的方法，这使它能自然而然地识别高清文档图像中各部分的相互关联，并灵敏地鉴别出图像内的关键要素。更进一步，基于对用户多样化需求的深入理解，TextMonkey 通过文本定位技术强化了答案的准确性，提升了模型的解释性，减少了幻觉，有效提高了在处理各类文档任务上的表现。
1. Shifted Window Attention
现有的多模态大模型，如 Monkey 和 LLaVA1.6，通过将图像切分为小块来提高输入分辨率。然而这种裁剪策略可能会无意中分割相关单词，导致语义不连贯。
此外，这种分裂造成的空间分离也使得处理与文本位置相关的任务（如文本检测）变得具有挑战性。TextMonkey 在继承 Monkey 高效的图像分辨率缩放功能的同时，采用滑动窗口注意力机制建立了块与块之间的上下文联系。
2. Token Resampler
目前的多模态大模型面临着图像 token 数目随着输入分辨率的增加而增加的挑战。由于语言模型的输入长度和训练时间的限制，减少 token 的数量是很有必要的。
在自然语言中，语言元素会存在一些冗余信息。那么可以自然的猜测在扩大图像分辨率之后，视觉部分的 token 也会存在冗余。
本文根据以往确定语言元素相似性的方法，对已经映射到语言空间的图像 token 的相似性进行了度量：在图像 Resampler 之后随机选取 20 个有序特征，利用余弦相似性成对比较这些特征的相似性，得到的结果如图 2 所示。颜色越深代表相似性越高，实验发现每个图片的 token 都有一个到几个类似的 token，图片特征中存在冗余。
同时，本文还观察到某些 token 是高度独特的，并且缺乏其他相似的 token，如图中的第四个 token，这表明这个 token 是更为重要的。
因此本文选用相似度来度量并识别独特的视觉 token。并提出 Token Resampler 来压缩冗余视觉 token。通过计算每个 token 与其他 token 的相似度，过滤得到最重要（相似度最低）的 K 个 token。同时，为了避免直接丢弃其他 token 造成的信息丢失，这里还会利用过滤得到的 K 个 token 作为查询，并采用交叉注意力机制进一步融合所有特征。
3. 多任务训练
TextMonkey 支持读出所有文本，文本检测识别，输出给定文本坐标，文本问答，具有位置感知的文本问答，图像结构化等多个任务。TextMonkey 在进行问答时不仅看可以给出答案，还能给出答案所在位置，进一步增强了模型的可解释性。与此同时，在经过微调之后，TextMonkey 还可以具备 APP Agent 中理解用户指令并点击相应位置的能力。
1. TextMonkey 与现有的多模态大模型相比，表现出了优越的性能。
2. 为了进一步验证 TextMonkey 的有效性，本文还在更多数据集上进行了测试。（其中 Deepform 和 KLC 使用 F1-score 作为评估指标，WTQ 使用 accuracy, ChartQA 使用 relaxed accuracy, DocVQA 使用 ANLS。）
3. TextMonkey 在 Text Spotting 数据集上相比于传统 OCR 模型也取得了极具竞争力的效果。
4. 表 7 的消融实验表明 Shifted Window Attention 和 Token Resampler 两个模块的有效性。
5. 表 9 的消融实验证明：由于分辨率的提高导致冗余 token 的显著增加，使得找到关键信息变得更加困难，在不压缩 Token 的情况下直接增加分辨率实际上会导致一致的性能损失，如在表中第一行和第四行，在不压缩 Token 时，分辨率由 896 增加到 1344 会导致模型在四个数据集上的指标均有所下降，这说明了没有策略地一味增加模型的分辨率反而会带来负面影响，如何合理地增加分辨率，将会是一个需要集中解决的问题。
不仅如此，表 9 中还说明，当选取不同的压缩 Token 数量时，对模型性能的影响也是显著的，选取一个合适的值来作为压缩 Token 的数量，可以使得模型的性能进一步提升。
TextMonkey 在场景图像和文档图像中都能准确定位和识别文本。此外，(a) 中的自然图像、(b) 中的文档、(c) 中的图表和 (d) 中的表格都展示了 TextMonkey 在多种场景下识别、理解和定位文本信息的能力。
本文还探索了 TextMonkey 作为智能手机应用程序的 Agent 代理方面的可行性。使用来自 Rico 数据集的 15k 用户点击数据上进行微调之后，TextMonkey 能够理解用户意图并点击相应的图标，这表明了 TextMonkey 在微调之后作为 App Agent 的巨大潜力。
TextMonkey 在 Monkey 的基础上增强了其图像间的跨窗口交互，在扩大分辨率的基础上增强了视觉信息的语义连续性，有效缓解了视觉信息碎片化的问题；并通过提出过滤融合策略减少图像特征长度，从而减少输入到大语言模型中冗余的视觉 token 数量。
论文的实验说明，分辨率不是越大越好，不合理的提高模型分辨率策略有时会给模型带来负面影响，如何合理地扩大分辨率才是一个更值得去思考的问题。
此外，通过在问答中引入位置信息，TextMonkey 增强了可解释性并减少了幻觉。TextMonkey 在多个文本相关的测试基准中处于国际领先，在 OCRBench 中超越其他开源多模态大模型。TextMonkey 的到来为通用文档理解带来曙光，这有潜力促进办公自动化、智慧教育、智慧金融等行业的技术变革。
参考文献
[1] Li Z, Yang B, Liu Q, et al. Monkey: Image resolution and text label are important things for large multi-modal models [J]. arXiv preprint arXiv:2311.06607, 2023.
[2] Liu Y, Li Z, Li H, et al. On the hidden mystery of ocr in large multimodal models [J]. arXiv preprint arXiv:2305.07895, 2023.
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧